Pada peringkat awal, nama bangunan ini hanya dikenali sebagai Pejabat Baru Kerajaan (New Government Offices). Apabila Persekutuan Tanah Melayu dibentuk pada 1948, bangunan ini dinamakan Sekretariat Persekutuan (Federal Secretariat).

Tahun 1974, semua pejabat Kerajaan Negeri Selangor dipindahkan ke Shah Alam. Pejabat kerajaan persekutuan Malaysia dipindahkan ke Jalan Duta, Damansara. Oleh itu nama bangunan ini ditukar kepada Bangunan Sultan Abdul Samad sempena nama Sultan Selangor yang memerintah dari 1857 - 1898. Nama ini kekal hingga sekarang.